Yuri Vladimirovich Andropov là con trai của một cán bộ đường sắt Vladimir Konstantinovich Andropov, người từng là một thành viên của gia đình quý tộc Don Cossack.[1] Mẹ ông là Yevgenia Karlovna Fleckenstein, con gái của một doanh nhân người Moskva giàu có, Karl Franzovich Fleckenstein, một người Nga gốc Đức từ Vyborg.[2] Một quý tộc và cũng là nhà cách mạng tên gọi Sergei Vasilevich Andropov (1873-1955) là một người họ hàng của ông.[3]

Ông được giáo dục tại Trường Kỹ thuật Giao thông Thuỷ Rybinsk trước khi gia nhập đoàn thanh niên cộng sản Komsomol năm 1930. Ông trở thành một thành viên của Đảng Cộng sản năm 1939 và là Thư ký thứ nhất Uỷ ban Trung ương Komsomol tại Cộng hoà Xô viết Karelo-Phần Lan từ năm 1940 đến năm 1944. Trong Chiến tranh thế giới lần thứ hai, Andropov tham gia vào các hoạt động chiến tranh du kích. Từ năm 1944 trở về sau, ông rời Komsomol để sang hoạt động trong đảng. Năm 1947 ông được bầu làm Thư ký thứ hai của Uỷ ban Trung ương Đảng Cộng sản (bolshevik) Cộng hòa Xô viết Karelo-Phần Lan.[4] Ông tới Moscow năm 1951 và gia nhập ban thư ký đảng. Năm 1954, ông trở thành đại sứ Liên xô tại Hungary.